Tuy vậy, sau khi đất nước hòa bình và thống nhất nhờ Tokugawa Ieyasu năm 1603, Nhật Bản lại thu mình với những người Nam Man, chủ yếu là vì mối đe dọa ngày càng tăng của sự Phúc Âm hóa.

Cho đến năm 1650, trừ tiền đồn trao đổi ở Dejima, Nagasaki, cho người Hà Lan, và một số việc buôn bán với Trung Quốc, người nước ngoài là đối tượng của hình phạt tử hình, và những người cải đạo Công giáo bị xử tử. Súng gần như bị bỏ đi để thay vào đó là thanh kiếm "văn minh" hơn. Việc đi ra nước ngoài và đóng các con tàu lớn cũng bị cấm. Sau đó bắt đầu thời kỳ bế quan tỏa cảng, hòa bình, thịnh vượng và tiến triển chậm chạp của những năm Edo.

Những người "Nam Man" sẽ quay trở lại 250 năm sau đó, hùng mạnh hơn nhờ quá trình công nghiệp hóa, và chấm dứt sự cô lập của Nhật Bản, hạm đội Hoa Kỳ dưới sự chỉ huy của Phó đề đốc Matthew Perry sẽ buộc nước Nhật phải mở cửa lại năm 1854.